이차 순 환 신 경 망 에서 정 규 문 법 의 학 습 을 
위한 최대 0008 결정 
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요 약 


기 존 의 정 규 문법 학 습 에 사 용 된 이 차 순 환 신 경 망 의 학습 알 고 리 즘 은 최대 6200 설 정 에서 좀더 분 석 적 이 지 
못하여 학 습 이 실패한 경우 학 습 비 용 의 낭 비 가 발 생 하고 학 습 효 율 이 낮아진다. 이 논 문 에서는 학 습 알고리즘 
의 미 비 점 을 학 습 과 정 에서 발생 될 수 있는 상 황 을 통해 분 석 하여 적절한 최대 6700) 를 정 함 으로써 학 습 효율 
을 향 상 시 키 고 자 한다. 그러기 위해 정 규 문 법 의 학 습 과 정 에서 소 요 되는 계 산 서 간과 최대 60001 의 학 습 비 용 함 
수 를 이 론 적 으로 표 현 하고 이에 따라서 최대 60001 가 400~500 일 때 최소 비 용 을 갖게 됨을 보이고 이것을 
실 험 을 통해 확 인 한 다. 
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1 서 론 


문 법 의 예 들 로 부터 81016-56866 쇼 나 0020 를 추 
론 하는 연 구 가 신 경 망 ( 찌 6081 피 66\040/ 의 한 모델 
인 순환 신 경 망 (8\60041764[ 164181 페 6[\01\) 을 사용 
하여 진 행 되어 왔고, 이에 대 웅 하 는 여러 추론 방법 
들 과 구조적 방 법 들이 학습 효 과 의 향 상 을 위해 개발 
되어 왔 다 [1-3,5,9-11,17]1. 최 근 에 이들 연 구 에서는 학 
습 성 능이 좋은 이차 순 환 신 경 망 (6124) 을 모 델 로 사 
용 하 며 [9], 학습 알 고 리 즘 은 비 용 의 낭 비 를 최 소 화 한 
개 선 된 2660400-878016 ㅁ 【 방 법 을 사 용 한 다 [17]. 이 학 
습 알 고 리 즘 은 학 습 을 무한히 반 복 하 여도 학 습 이 되 
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지 않을 때 기 존 의 알 고 리 즘 이 학 습 을 계속 진 행 시킨 
데 반해 개 선 된 알 고 리 즘 은 그 원 인 을 알 고 리 즘 내의 
함 수 를 통해 찾 아 내 어 그 시 점 에서 학 습 을 중 단 하 여 
이 후 의 학 습 비 용 의 낭 비 를 줄 인 다 [16.17]. 

이차 순 환 신 경 망 을 이용해 문 법 을 학 습 할 때 개선 
된 알고리즘 역시 학 습 이 계속 진 행 되는 상 황 을 부분 
적 으 로 는 알고리즘 내 에 서 해 결 하였지만 일 부 는 여 
전 히 계속 학 습 을 하 게 되고, 따라서 학 습 을 종 료 시 킬 
수 있는 가장 효율적인 최대 62001 의 설 정 이 필 요 하 
다. 이 최대 60005 값 은 이전 연 구 에서는 경 험 적 으로 
제 공 하는데 만약 최대 6000 를 크게 설 정 한다면 학 
습 이 계속 진 행 되 는 상 황 에서 비 용 의 낭 비 가 발 생 하 
게 되고, 그렇지 않고 작은 값 을 설 정 한다면 학 습 률 
이 떨어지는 결 과 가 발 생 한 다. 
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적절한 최대 600 를 설 정 하기 위해 학 습 률 을 결 
정하는 반 복 횟 수 와 학 습 에 소 요 되 는 계 산 시 간 을 비 
용 함 수 를 통해 나타내어 최대 60001 를 결 정 하게 된다. 

2 장 에서는 실 험 을 위해 사 용 된 이차 순 환 신경망 
모 델 과 개 선 된 알 고 리 즘 에 관해서 소 개 하 고, 3 장 에 
서는 학 습 률 과 계 산 시 간 을 비 용 함 수 와 반 복 횟 수 를 
통해 결 정 하게 된다. 그리고 4 장 에서는 실 험 을 통해 
결 과 를 검 정 하고 마 지 막 으로 5 장 에서는 결 론 을 언급 
하고자 한다. 


2. 관 련 연구 


이 장 에서는 학 습 집 합 으로 사 용 되 는 1'070113 문법 
과 실 험 에 사 용 된 모 델 인 이산 이차 순 환 신경망 
(021607666-6 찌 퍼 ) 의 구 조 와 수 정 된 학 습 방 법 에 대 
해 설 명 한 다. 


2.1 70170118 (6『2877 하 


27100018 에 의해 1987 년 26001 0724 [65077 을 위 
해 소 개 된 정 규 문 법 으로 모두 7 개 의 문 법 으로 구성 
되 어 있 다 [4.61. 


표 1. 1000118 문 법 의 정 규 표현 


27 = 1" 

25 = (10)" 

25 = 짝 수 개의 연 속 적 인 '0' 후에 짝 수 개의 연 속 적 인 
'1` 을 가지는 스트링 


2 = '000' 을 포 함 하 지 않는 스트링 

275 = [(01110)(01110)]" 

26 = '1' 의 개 수 에서 '0' 의 개 수 를 결 과 를 3 으 
로 나눈 나 머 지 가 0 인 스트링 ㆍ 

27 = 01101" 


2.2 개 선 된 56844 


3 개 상태 50, 51, 52 를 가진 이산 이차 순 환 신경망 
은 입 력 인 0 과 1 에 의해 제 어 되 는 두 개의 분 리 된 
ㅁ 66\066 인 ㅁ 6[0 과 0601 로 이루어져 있으며 그림 1 
과 같이 보 여 진 다 . 4206 9160 『 에서 상태 *! 는 식 (1) 
에 의해 식 (2) 과 같이 표 현 된다. 


42; = 7( 회 01 51 0) 


여기서 / 는 98010 8100807 으 로 7 ㅅ 4)= 1 6 ~ 
이고 /) 는 16006 1100000 으 로 204) = 버 2 


와 같다. 


빠 에에 


그림 1. 상 태 수가 3 인 이산 이차 순 환 신경망 


이런 68006 된 값 을 사 용 하면 상 태 공 간 에 서 몇 
개의 값 으 로 만 표 현 되 어 불안정한 상 태 가 발 생 하지 
않고 학 습 이 이루어진다. 그러나 802108 값 대신 
015016[66 된 값 을 사 용 하 므로 변 화 량 의 기 울 기 를 계 
산 할 수 없다. 대신 그 값 의 추 정 치 를 사 용 하고 이를 
166400- 81200160( 라고 하고 아래와 같이 계 산 된다 
[ ㅁ .7.8.12.14,15]. 
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(3) 

이런 기 존 의 학 습 알 고 리 즘 은 학 습 과 정 에서 비용 
의 낭 비 가 발 생 하는데 그 이 유 는 에 러 가 허용치 보다 
큼 에도 불 구 하고 \681[ 80 의 변 화 가 없게 되어 학 
습 과 정 에 변 화 가 발 생 하 지 않게 된 다 [17]. 이것은 식 
(3) 에 서 ^ 값 이 곱 해 지 는 데 ,/ 가 9810010 함 수 이므로 
7“ (0=7(2 ㆍ (1 - 7(20) 이 다. 입 력 의 마지막 값 
인 이 제 공 될 때 7(』) 은 700=7( 하 065) ') 이 되 
고, 이 값 이 0 또는 1 이 될때 ＊“ 07206 ) ㆍ 
(1 -7 (21065 '))=0 이 되므로 \684 수 정이 
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불 가 능 해진다. 위 의 내 용 을 기존 알 고 리 즘 에 적 용 하 
면 다 음 과 같다. 


ㅁ 개 선 된 학습 알고리즘 ㅁ 


86160 그 070118-(570100287 
16060 40 10 16006 56605{ 
/* 17810108 2866 */ 
56160 101021 \618116(5 
16068 40 10 떠 스 키 600(15 60005 { 
800066866_51200@ = 0; 
10 0 ㅋ 1 10 [7810108 860 _6126 { 
06960 80208 (720); 
720561400_@1780160[_16800108 (00); 
678104866 620007 뜨 ; 
16 ( > 0670 0668006 ){ 
00100466 7 00 ; 
^ 7100 = ' 기 02009 골 % 
16 ( 700 == 0 ) 
19768 04 0 00006 1002; /* 6000 60000 */ 
0010004[6 @8120160 ㄷ 200 '\018 바 40026; 
아 12086 \612011[5; 


인 56 100/60160【 54060668..5008; 
} 
1 (6060668_50108 = 그 78610108 66 5126) 
17681 0 바 0 56609 1000: 
/*606066599141 6210108*/ 
) /* 86160 26\ \ 히 015 */ 
} /* 602120108 15 14160 */ 


여기서, 6@001 는 학 습 패 턴 을 모두 한번씩 학 습 했 
을 때 의 계 산 시 간 이 며 \1^4※8200 는 알 고 리 즘 에 
서 학 습 과 정 올 중 단 할 수 있는 유 한 한 값 으로 설정 
한다. 

기 존 의 알 고 리 즘 이 앞에서 언 급 한 문제점 때문에 
학 습 이 되지 않 는 데 도 불 구 하 고 최대 허용 60000 까 
지 학 습 이 진 행 되 는 시간적 낭 비 를 가지게 된 다 [131. 
개 선 된 알 고 리 즘 은 학 습 이 불 가 능 해지는 시 점 을 ㆍ“ 
함 수 를 통해 알고리즘 내 에 서 찾 아 내 어 서 비 용 의 낭 
비 를 막고 이 시 점 에서 새로운 \610166 를 다시 부여 
하여 학 습 이 모두 성 공 적 으로 이 루 어 지 도록 한 다 [171. 


3. 최대 600 설정 


이 장 에서는 문 법 의 학 습 에서 발 생 하는 상 황 과 최 
대 600 애 를 설 정 하 기 위하여 학습 알 고 리 즘 에서 사 
용 하 는 반 복 횟 수 와 학 습 시 간 에 사 용 되 는 비 용 올 계 
산 하 기 위하여 정 규 문 법 의 학 습 상 황 을 살 펴 보 고 그 
에 적합한 비 용 함 수 를 정 의 한 다. 


3.1 정 규 문 법 의 학 습 상황 


정 규 문 법 을 개 선 된 학 습 알 고 리 즘 을 사용해 학습 
할 때 여러 상 황 이 발 생 하 는데 그림 2 는 정 규 문 법 의 
학 습 과 정 에서 × 축 은 최대 60000 를 무 한 대 로 설 정 했 
을 때 학 습 이 성공적인 실 험 횟 수 의 상대 빈 도 수 를 
/ 축 으로 표현한 그 래 프 이다. 이 그 림 에서 알 수 있듯 
이 학 습 의 성공적인 분 포 는 어느 구 간 동안 대부분 
발 생 하 고 이 후로 진 행 될 수록 그 빈 도 수 가 줄어든다. 
그림 3 은 그럼 2 의 최대 600 를 무 한 대 로 설 정 했 을 
때 실 험 횟 수 의 상대 빈 도 수 를 누 적 된 값 의 확 률 로써 
나타낸 것으로 최대 62000 가 무 한 대 를 가 더라도 학 
습 이 성 공 되지 못하는 학 습 횟 수 가 상당히 존 재 함 을 
나타낸다. 여기서 성공적인 학 습 이란 모든 학 습 패턴 
이 1 6000 동 안 오 차 허 용 치 (600 [01673006) 보 다 적 
은 오 차 (6600) 를 가질 때 를 말한다. 개 선 된 학습 알 
고 리 즘 은 최대 62001 설 정 을 통해 학 습 을 유 한 한 횟 
수 만 에 100% 에 거의 근 접 하 게 이 루 어 지 게 한다. 그 
시 점 은 그림 3 에 서 24 으 로 표 현 되는 지 점 으로 학습 
과 정 의 비 용 을 최 소 화 하기 위해 적절한 44 값 의 설정 
이 필 요 하다. 


상대 빈 도 수 (실험 횟수) 


600 애 뷰 
00 


그림 2. 학 습 이 성공적인 분포 그래프 


6000 


그림 3. 성공적인 학 습 의 누적 그래프 
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임 의 의 최대 62004 를 4 으 로 설 정 했 을 때 학습 알 
고 리 즘 의 결 과 는 아래와 같다. 

(1) 44 60008 이 내 에 서 학 습 이 성공적인 경우 

(2) 24 60001 이 내 에 서 학 습 이 불가능한 시 점 을 

미리 찾아내는 경우 

(3) 24 600 애 에 도 달 하 여 학 습 이 실 패 하 는 경우 

개 선 된 학 습 알 고 리 즘 은 위 의 (2),(3) 과 같은 경우 
에 새로운 가 중 치 를 부 여 하여 학 습 을 다시 반 복 한다. 
이럴 경우 알고리즘 내 에 서 새로운 학 습 이 가능한 
횟수, 즉 반 복 횟 수 를 결 정 해 주어야 한다. 이 반 복 횟 
수가 클수록 학 습 률 이 중 가 하 는 반면 학 습 비용 역시 
중 가 하여 둘 간의 ㅠ 806-0[ 관 계 가 성 립 된 다. 최대 
600 애 를 설 정 하 는데 있어서 학 습 률 과 관 계 되 는 반복 
횟 수 와 학 습 에 사 용 된 계 산 시 간인 비 용 을 고 려 하여 
적절한 최대 60004 를 결 정 하게 된다. 


3.2. 비 용 함 수 의 정의 및 반 복 횟수 


최대 60008 를 결 정 하기 위하여 학 습 률 에 따른 계 
산 시 간 을 비 용 함 수 를 통해 평 가 하 고 최소 비 용 을 가 
지는 60000 를 최대 6000 로 서 결 정 하 게 된다. 

최대 60000 를 으로 설 정 했을 때 1 회 학 습 에서 
성공할 확률 2,/ 은 임 의 의 최대 600 인 44 까 지 성 
공 적 으로 학 습 된 실 험 회 수 의 누적 빈 도 수 에 대한 확 
률 이고, 《 는 반 복 횟 수 로 학 습 과 정 에서 학 습 이 성공 
하지 못한 경 우 는 알 고 리 즘 에 의해 새로이 학 습 을 
시키게 되는데 이 때 새로이 학 습 이 가능한 횟 수 라고 
하면 이 때 이 학 습 과 정 을 * 번 반 복 할 때 총 학습 
60004 의 기 대 값 202, ㅅ ) 를 비 용 함 수 라고 한다. 


쇄 (026, 
422+(1-2 0124 +(1-2,0? 244 


|" 


+… ㅠ + ㅜ 0-20“”'「4#4 
22 (1+(1-2.0+(1-200” 


|" 


+ … ㅠ + ㅜ 0-20"' 

* 

) (4 > 0) (4) 
반 복 횟 수 * 는 누적 학 습 률 과 다 음 과 같은 관 계 가 

있다. 


누적 학 습 률 = 1-(1-2270* . 


반 복 횟수 * 번 실 행 한 후 발 생 하는 학 습 실 패 율 이 
허 용 치 인 6 보 다 작을 때 까 지 학 습 을 반 복 하게 되는 
데 이 누적 학 습 률 과 오 차 허 용 치 간의 관 계 는 


1-(1-#20* > 1- 6 

= (1-2.0*< 6 

= ^ 10680-220 < 1086 
이다. 

여기서 (1-2.0 < 1 이므로 


^ > 나 6 = 이다. (5) 

이러한 식 (5) 의 3 차 원 그 래 프 는 그림 4 와 같고 이 
것은 × 축 을 확률 2,/ 으로 축을 허용치 6 로 했을 
때 ^ 값 의 변 화 를 나타낸 것이다. 이 그 럼 에 서 확 률 이 
적 올 수 록 허용치 6 에 대한 4 값 은 중 가 하여 비 용 에 
도 영 향 을 미치게 된다. 그림 4 는 허용치 ㅎ 일 때 확 
를 2// 을 보 장 하는 최 소 값 이 곡 면 으로 나타나고 & 값 
이 중 가 될수록 누적 학 습 률 이 2,/ 보 다 커 짐 을 나타 
낸다. 


그림 4. /^/ 과 허용치 그리고 (의 관계 그래프 


여기서 (4) 와 (5) 식 으 로부터 비 용 함 수 의 값 을 다 
음 과 같이 정리할 수 있다. 
0-2.0 “0 
겨 ) 
(6) 식에서 보 는 바와 같이 비 용 함 수 의 최 저 값 은 
오차 허 용 치 와 확률 ^";/ 의 함 수 로 표 현 될 수 있다. 
그림 5 는 오차 허용치 ㅎ 의 값 이 0.06 일 때 확 률 에 
따른 최 소 비 용 을 보 여 주 고 확 률 이 1 일 때 가장 많은 


제.) > 4 ( 그 - (6) 
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600 


그림 5. (누적 학 습 를 = 0.05 ) 


비 용 이 들며 확 률 이 중 간 정 도 에 서 작은 값 을 가짐 
을 보인다. 그럼 6 은 (6) 번 식 의 함 수 를 이 용 하 여 허용 
치 의 값 을 001~0.05 까지 변 화 시켰을 때 전체 
00048 문 법 에서 발 생 하는 학 습 비 용 을 평 균 값 으로 
계 산 하여 나타낸 것이다. 


학 습 를 애 따른 비용 


그림 6. 허용치 에 따 론 평균 비용 


표 2. 확률 /^// 와 허 웅 치 에 따른 비용 


893 

115 
1003 |187711711157| $91021| @61813|138|146|4196| 
1002 |197118201200110131001| 9671902 1118 11461496 
001 [2029 1275 1260 10901081102190211138|1677|4196 


표 3. 확률 『? 에 따른 최대 6000 4 


면 미 띠 띠 띠 머 떠 띠 떠 띠 빼 


0 [146] 146 |214| 28 |301| 555 |416| 615 | 566 |4196] 


이러한 상 황 을 구체적인 수 치 로 나타내면 표 2 와 
같고, 표 3 은 확 률 에 따른 최대 60008 값 인 4 값 을 
나타낸다. 이것을 확률 7";/ 과 허용치 ㅎ , 비 용 함수 
(2, , ) 를 고 려 하여 3 차 원 형 태 의 그 래 프 로 표 


0.05 | 1764 


현 하면 그림 7 과 같다. 


18881811811, 
1 0 


그림 7. 70070118 문 법 의 학습 비용 


표 2 와 그림 7 을 통해서 알 수 있듯이 확 률 이 0.7 인 
시 점 이 학 습 비 용 이 가장 낮 았 고 반 복 횟 수 & 가 123 
일 때 최소 학 습 비 용 을 가 지 지 만 & 가 3 일 때 다른 
값 에 비해 학 습 성 공 률 이 97% 이 상 으 로 가장 높다. 그 
리고 이 때 의 44 값 은 416 60004 를 가진다. 


4. 실험 


101801 아 6 580 찌 에서 개 선 된 학 습 방 법 으 로 70018 
문 법 을 학 습 할 때 발 생 하 는 3 가 지 상 황 을 보 여 주 고, 
실제 학 습 에서 사 용 되 어진 시 간 을 고 려 하 여 실험적 
으로 최대 60004 를 구하여 비 용 함 수 룰 통한 결 과 와 
비 교 한다. 

70003 3 번 문 법 에서 실제 실 험 횟 수 별로 학 습 되 
는 상 황 을 표 시 하 면 그림 8 과 같다. 


실험 회수 
00880 ㅣ 


개 거 고 이 
800 


그림 8. 최대 600 아 1 = 10000 


실제 최대 000 애 를 아주 큰 값 인 10000 으 로 했을 
때 학 습 이 실 패 하는 경우 최대 6000 인 10000 까 지 
학 습 이 진 행 되어서 비 용 의 낭 비 가 발 생 한 다. 


이차 순 환 신 경 망 애서 정 규 문 법 의 학 습 을 위한 최대 600 결정 _ 473 


(8) 학 습 이 수 렴 된 분포 


7100=0 


0 20 40 60 80 100 


06) [6 = 0 에 의해 학 습 이 실패한 분포 
그림 9. 1000118 3 번 의 분포 그래프 


그림 9 에 서 대 부 분 의 학 습 상 황 은 최대 6000 가 
1000 이 하인 경 우 에서 발 생 하는 것을 알 수 있다. 이 
때 그럼 9 (3) 는 성공적인 학 습 의 실 험 횟 수 에 대한 
빈 도 수 의 분 포 를 나타내며, 그림 9 의 (6) 학 습 과 정 에 
서 함 수 에 의해 학 습 이 불가능한 시 점 을 찾 았 을 때 의 
실 험 횟 수 에 대한 빈 도 수 의 분 포 를 나타낸다. 나머지 
7001418 문 법 도 이와 유사한 결 과 를 가진다. 


ㅜ 아 01 (544 = 1000) 


0 25 50 75 10 
저 ※(1 구 간 10 ) 


--((1) = 0 - 다 - 6400659 ㅡ 10081 


그림 10. 구 간 별 학 습 진 행 상 황 


위 의 두 분 포 와 같이 모든 70013 문 법 을 고 려 하 
여 전체적인 흐 름 을 표 현 하 면 그림 10 과 같다. 

그럼 10 과 같은 전체 분 포 를 고 려 하여 구 간 을 나 
눈 다음 구 간 별로 실 험 을 하여 실제 학 습 에 소 요 된 
시 간 을 계 산 하 면 그림 11 과 같다. 

아래 그림 12 는 학 습 에 사 용 된 계 산 시 간 을 평균값 
으로 계 산 하여 표현한 것이다. 

위 의 실 험 을 통해 70008 문법 각 각 의 계 산 시간 
을 조사한 그 래 프 에 서 각 70013 문 법 에 따라 조금 
씩 의 차 이 가 발 견 되지만 구간 200 ~ 700 사 이 에서 
학습 실 행 시 간 이 다른 구 간 에 비해 적게 나왔다. 
70003 문법 전 체 를 모두 고려할 때 최대 62004 를 
400 으 로 했을 때 가장 적은 시 간 이 사 용 되 었다. 


전체 70010 문법 


학습 실 행 시 간 (6) 
터 


0 2 4 6 8 10 
추정 최대 %000( 단 위 100 6008) 


그림 11. 7000118 문 법 의 계 산 시간 


스 디 00886 


$0 400 
수 300 
고 200 
100 
0 
1 3 5 7 9 
추정 최대 0000( 단 위 100 60001) 
그림 12. 10018 문 법 의 평균 계 산 시간 
5. 결론 


이 논 문 에서는 이산 이차 순 환 신 경 망 을 사용해 
70008 문 법 을 학 습 할 때 기존 학 습 알 고 리 즘 의 문제 
점 을 학 습 상 황 을 통해 분 석 하 여 학 습 효 율 을 향 상 시 
키 는 방 법 으로 적절한 최대 62001 값 을 학 습 알고리즘 
에 적 용 하 여 학 습 비용, 즉 실 행 속 도 를 줄인다. 

최대 600 애 를 설 정 하기 위해 이차 순 환 신 경 망 을 
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이용한 70048 문 법 의 학 습 에서 성공적인 학 습 분 포 
로부터 비 용 함 수 를 이 론 적 으로 유 도 하여 정 의 한 다. 
이 함 수 를 이 용 하 여 학 습 률 에 따른 반 복 횟 수 를 결정 
하고 이를 문 법 의 학 습 에 적 용 하여 비 용 이 가장 적 
은 최대 6000 값 을 결 정 한 다 . 그 결과 최대 62000 를 
416 으 로, 반 복 횟 수 를 3 으 로 설 정 했 을 때가 최 소 비용 
을 가진다. 실 제 적 인 실 험 에서 400 과 500 사 이 일 때 
가장 작은 계 산 시 간 을 가진다. 이는 비 용 함 수 를 통한 
결 과 와 거의 유 사 하 여 가장 적절한 최대 620081 는 400 
과 500 사 이의 값 으로 결정할 수 있고 반 복 횟 수 는 3 회 
로 이때 학 습 률 은 97% 이 상의 값 을 가진다. 따라서 
이를 이차 순 환 신 경 망 을 사용한 정 규 문 법 의 학 습 에 
서 최대 60001 값 으로 제 안 하고 그 결과 학 습 효 율 을 
향 상 시킬 수 있다. 
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